Feature Matching for Text Generation
nishio.iconFeature Matchingとは何か?
nishio.iconMaximum Mean Discrepancyとは何か?
Eってなんだ?→Encoder
Soft-argmax approximation
argmaxは微分可能でないので扱いに難しさがあるが、これをsoftmaxに置き換えても良いのではないか、って提案。
$ W[\arg\max_i x_i] \approx W \mathrm{softmax}(L x_i)
ここでLは1000とかの大きなスカラーで、L→∞の極限ではargmaxに一致する。